Herm chỉ dài khoảng 1½ dặm (bắc-nam) và ít hơn nửa dặm rộng (đông-tây)[3]. Ở phía bắc của đảo là hai ngọn đồi, Le Petit Monceau và Le Grande Monceau. Ở phía bắc của những điều này là phổ biến, dẫn đến Bãi biển Mouisonniere trên bờ biển phía bắc, với Oyster Point ở góc tây bắc và La Pointe du Gentilhomme hoặc Alderney Point ở góc đông bắc[4]. Về phía đông của phổ biến là Bãi biển Shell và về phía tây là Bãi biển Bear, dẫn xuống bến cảng[5]. Một nửa đường bờ biển phía bắc của đảo được bao quanh bởi những bãi biển đầy cát; nửa phía nam là đá. Phần lớn đá gốc của Herm là đá granit. Vào năm 2008, Adrian Heyworth, người lúc đó là người thuê đảo, nói rằng hai hoặc ba mét cát đã bị mất hàng năm tại Alderney Point.

Đảo Jethou nằm ở khoảng ba phần tư dặm về phía tây nam ngoài Point Sauzebourge. Có thể vào năm 709 sau Công nguyên, một cơn bão đã cuốn trôi dải đất nối liền Jethou với Herm. Khoảng 215 mét (705 ft) ngoài khơi bờ biển phía bắc của Jethou là hòn đảo Crevichon, có kích thước khoảng 212 mét (696 ft) 168 mét (551 ft), với diện tích dưới ba ha. Về phía tây, giữa Herm và Guernsey, nằm trên kênh Little Roussel (Petit Ruau); giữa Herm và Sark, về phía đông, là Big Roussel (Grand Ruau). Tháp Bréhon, một pháo đài thời Victoria, nằm trong Little Roussel giữa Herm và Saint Peter Port. Tòa tháp được xây dựng từ năm 1854 đến 1856 bởi Thomas Charles de Putron (1806 - 1869) sử dụng đá granit từ Herm.